查看原文
其他

【技术贴】KyBot快速入门指南

apachekylin 2022-04-23



随着Apache Kylin的深入应用,Apache Kylin集群规模不断扩大,数据存储不断增加,用户访问更加频繁,如何对整个Apache Kylin集群、底层存储、构建任务、Hadoop资源利用等有更多的了解和分析,最大限度的利用相关资源,优化查询性能,提高运行效率,保证应用稳定等逐渐成了Apache Kylin用户群的普遍且急迫的需求。

作为Apache Kylin背后的创业公司,上海跬智信息技术有限公司(Kyligence)推出了KyBot云端服务,为Apache Kylin及其商业版KAP提供 在线诊断、优化及服务平台 。KyBot通过分析Apache Kylin的日志等信息,为用户提供可视化仪表盘、系统优化、故障排查、技术支持等服务。

 

KyBot官方网址:http://kybot.io



KyBot是如何工作的?



KyBot功能介绍


仪表盘

以可视化的形式展现Apache Kylin系统的相关内容,包括Cube、用户访问情况、查询延迟、任务构建统计、存储等各方面的信息, 从不同维度提供整个Apache Kylin集群及应用的洞察能力。


Cube使用情况统计:


Query执行情况统计:


调优

Apache Kylin提供万亿规模数据集上的亚秒级交互式分析能力,因此,查询的优化是Apache Kylin应用的核心。KyBot可以分析相应的日志为你提供直观的性能分析视图,通过可视化来展示每一个阶段的性能消耗,以此来帮助用户快速定位瓶颈等。同时,KyBot通过对Cube日志的分析,来帮助你不断优化数据模型及Cube的设计和存储,以在存储、构建及查询性能间找到最佳的平衡点。


Cube 详情及使用分析:


SQL查询解析及统计分析:

故障排查

分布式系统在运行过程中不可避免的出现一些异常甚至故障,如何快速的定位和排查这些问题是系统运维的重中之中,KyBot通过解析异常来快速的监控相关故障信息。


异常统计:


故障追踪:


  技术支持

企业级客户可以通过工单快速提交相关的支持请求,结合已经提交的相关日志及分析结果,Kyligence支持工程师可以快速定位并及时给出解决方案,大大降低了沟通成本,提升了服务响应能力。


如何使用KyBot?


KyBot是通过诊断包来分析Apache Kylin日志等信息,首先需要上传诊断包到KyBot,分析后才能使用KyBot功能。


生成诊断包


●  KAP用户


登录每一个KAP节点的WEB UI,点击系统页面的"诊断"按钮,生成诊断包。


● Kylin 用户


① 下载KyBot Client 最新版(支持Apache Kylin1.5.0以上及KAP全部版本)下载路径:登录KyBot 官网http://kybot.io,在首页点击上传,然后点击“打包工具:KyBot Client ”即可下载。

② 解压到每个Kylin节点的$KYLIN_HOME/kybot目录。

③ 在每个Kylin节点运行$KYLIN_HOME/kybot/kybot.sh来生成诊断包。


混淆诊断包中的敏感信息


对于某些敏感信息,可进入$KYLIN_HOME/kybot ,编辑kybot-client.properties来进行数据保护。


● OBF=混淆 RAW=不混淆

● Cardinality和账号信息默认混淆,范围如下:

Cardinality: tiny<20, small<100 ,medium<1000, high<10,000 ,very high<100000 ,ultra high>=100,000

账号信息:邮箱服务,LADP,SAML等

● 如hostname设置为OBF,需定义hostname的模式,如kybot.obf.hostname.pattern=*.kybot.io


上传诊断包


登录KyBot网站,单击页面顶部的”上传“按钮,即打开上传页面,单击”上传诊断包“按钮,选择一个生成好的KyBot诊断包,并等待其上传成功,上传成功后即加入分析队列,用户可以在上传页面查看分析进度,分析好之后就可使用全部功能。





 "Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks."




您可能还会想看:


Apache Kylin v1.6.0正式发布

【案例分享】Apache Kylin在国美在线的应用

【案例分享】大数据多维分析引擎在魅族的实践

案例分享:Apache Kylin在唯品会大数据的应用



↓欢迎您点击“阅读原文”进入KyBot网站。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存